NormGuard: Reward-Preserving Norm Constraints in Flow-Matching Reinforcement Learning
NormGuard：保留奖励的流匹配RL训练范数约束
🧭 流匹配RL训练的范数正则化
The Hong Kong University of Science and Technology · Kuaishou Technology · University of Chinese Academy of Sciences
RL微调会导致流模型速度范数膨胀损害质量，提出训练时hinge惩罚有效抑制并保持奖励
📌 工作参考价值（4 点）
- 在电商/推荐场景使用生成式模型（如流匹配生成item embedding或序列）进行RL微调时，可借鉴 NormGuard 监控并约束输出速度范数，防止过度偏离参考模型导致质量崩塌。
- 推理时归一化无效的结论提示：对于推荐系统的RL策略优化，单纯在推理阶段调整输出分布（如温度缩放）不足，需在训练时嵌入正则项。
- hinge 惩罚设计简洁，可与任何 velocity-local base loss 加性组合，易于迁移到现有 RL 训练管线中（例如 DPO、NFT 的推荐版本）。
- 范数膨胀作为质量退化的早期信号，可用于训练过程中实时监测，辅助自动早停或触发约束。